home *** CD-ROM | disk | FTP | other *** search
/ Language/OS - Multiplatform Resource Library / LANGUAGE OS.iso / gnu / smaltalk.lha / smalltalk-1.1.1 / TokenStream.st < prev    next >
Text File  |  1991-09-12  |  3KB  |  119 lines
  1. "======================================================================
  2. |
  3. |   Token stream Method Definitions
  4. |
  5. |   A token stream is a stream that's defined in terms of a string.
  6. |   It basically parses off whitespace separated tokens as substrings
  7. |   and returns them (next).  If the entire contents of the string is 
  8. |   requested, it is returned as an Array containing the individual strings.
  9. |
  10.  ======================================================================"
  11.  
  12.  
  13. "======================================================================
  14. |
  15. | Copyright (C) 1990, 1991 Free Software Foundation, Inc.
  16. | Written by Steve Byrne.
  17. |
  18. | This file is part of GNU Smalltalk.
  19. |
  20. | GNU Smalltalk is free software; you can redistribute it and/or modify it
  21. | under the terms of the GNU General Public License as published by the Free
  22. | Software Foundation; either version 1, or (at your option) any later version.
  23. | 
  24. | GNU Smalltalk is distributed in the hope that it will be useful, but WITHOUT
  25. | ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS
  26. | FOR A PARTICULAR PURPOSE.  See the GNU General Public License for more
  27. | details.
  28. | 
  29. | You should have received a copy of the GNU General Public License along with
  30. | GNU Smalltalk; see the file COPYING.  If not, write to the Free Software
  31. | Foundation, 675 Mass Ave, Cambridge, MA 02139, USA.  
  32. |
  33.  ======================================================================"
  34.  
  35.  
  36. "
  37. |     Change Log
  38. | ============================================================================
  39. | Author       Date       Change 
  40. | sbyrne     14 May 90      removed isWhiteSpace:;replaced uses with Character
  41. |              isSeparator.
  42. |
  43. | sbyrne     19 Sep 89      Changed to use real method categories.
  44. |
  45. | sbyrne     12 Jul 89      created.
  46. |
  47. "
  48.  
  49. Stream subclass: #TokenStream
  50.        instanceVariableNames: 'charStream'
  51.        classVariableNames: ''
  52.        poolDictionaries:''
  53.        category: nil.
  54.  
  55. TokenStream comment:
  56. 'I am not a typical part of the Smalltalk kernel class hierarchy.\n\
  57. I operate on a stream of characters and return distinct \n\
  58. (whitespace-delimited) groups of characters.' !
  59.  
  60.  
  61. !TokenStream class methodsFor: 'instance creation'!
  62.  
  63. on: aString
  64.     ^self new setStream: (ReadStream on: aString)
  65.  
  66. !!
  67.  
  68.  
  69.  
  70. !TokenStream methodsFor: 'basic'!
  71.  
  72. next
  73.     | char tokStream |
  74.     self atEnd ifTrue: [ ^nil ]. "has the nice side effect of skipping
  75.                                   leading white space."
  76.     tokStream _ WriteStream on: (String new: 1).
  77.     [ char _ charStream peek.
  78.       (char notNil) and: [ (char isSeparator) not ] ]
  79.         whileTrue: [ tokStream nextPut: (charStream next) ].
  80.     ^tokStream contents
  81. !
  82.  
  83. atEnd
  84.     | char |
  85.     [ char _ charStream peek.
  86.       char isNil ] whileFalse:
  87.         [ (char isSeparator) ifFalse: [ ^false ].
  88.      charStream next ].
  89.     ^true
  90. !
  91.  
  92. do: aBlock
  93.     [ self atEnd ] whileFalse:
  94.         [ aBlock value: self next ]
  95. !
  96.  
  97. contents
  98.     | arrayStream |
  99.     arrayStream _ WriteStream on: (Array new: 0).
  100.     self do: [ :aToken | arrayStream nextPut: aToken ].
  101.     ^arrayStream contents
  102. !!
  103.  
  104.  
  105.  
  106. !TokenStream methodsFor: 'write methods'!
  107.  
  108. nextPut: anObject
  109.     self shouldNotImplement
  110. !!
  111.  
  112.  
  113.  
  114. !TokenStream methodsFor: 'private'!
  115.  
  116. setStream: aStream
  117.     charStream _ aStream
  118. !!
  119.